\section{Понятие случайного процесса}
\begin{df}
Случайный процесс (стохастический, вероятностный процесс или
случайная функция) {\rm можно определить как семейство случайных
переменных \{$ X_t$, $t\in T $\}, которые зависят от параметра,
или индекса $t$.


Параметр $t$ будем интерпретировать как время. Случайный процесс
$X_t$ есть функция двух аргументов \{$ X_t(\omega)$, $t\in T,
\omega \in \Omega $\}.Следовательно для фиксированного $t\in T$
функция $ X_t(\cdot)$ есть случайная переменная, а для
фиксированного $\omega$ функция $ X_{\bullet}(\omega)$ есть
функция времени, которая называется}  реализацией процесса,
траекторией, выборочной функцией.
\end{df}

Теперь приведем более строгое определение.
\begin{df}
{\rm Пусть $w$ есть измеримое отображение основного вероятностного
пространства $(\Omega, F, P)$ в измеримое
пространство $(X,B)$, тогда} случайным процессом $X_t$, $t\in T$ {
\rm называется функция $X_t(w)$ от пары $t\in T$ и $w \in \Omega$
которая при каждом $t \in T$ измерима по $w$.}
\end{df}


Реализацию случайного процесса можно получить двумя способами:
\begin{enumerate}
    \item разбиением по времени (разбиваем отрезок времени
    на интервалы и берем значения в точках разбиения);
    \item накоплением (значением служит приращение функции за время $\Delta
    t$).
\end{enumerate}

\begin{df}
{\rm Однородный по времени случайный процесс называется}
стационарным. {\rm Т.е., если для любого $h \in I\!\!R $
конечномерные распределения процесса  не меняются при сдвиге на
$h$}
$$
F_X(t_1,\dots,t_k,x_1,\dots,x_k)=F_X(t_1+h,\dots,t_k+h,x_1,\dots,x_k),
$$
{\rm если только $t_1, \dots, t_k,t_1+h, \dots, t_k+h\in T$.}
\end{df}
Замечание: Стационарный процесс называется {\it эргодическим},
если среднее по ансамблю равно среднему выборочной функции по
времени:
$$ I\!\!EX_t=\int_{\Omega}X_t(\omega)P(d\omega)=\lim_{T \rightarrow
\infty}\frac{1}{2T}\int_{-T}^TX_t(\omega)dt$$
Далее предполагаем T=Z либо T=N. \\
В соответствии с {\it теоремой Колмогорова} процесс $X_t = X(x,t)$
при выполнении условия регулярности определяется через набор
конечномерных функций распределения
\begin{equation}
F_X(t_1,\dots,t_k,x_1,\dots,x_k) = I\!\!P(X_{t_1} <
x_1,\dots,X_{t_k} < x_k) \quad \forall\,k,
t_1,\dots,t_k,\,x_1,\dots,x_k.
\end{equation}
Функция распределения удовлетворяет условиям симметрии и
согласованности. Условие симметрии означает, что $F$ симметричная
функция для всех пар $(x_i,t_i)$. Условие согласованности
определяется следующим соотношением:
\begin{equation}
F_X(t_1,\dots,t_{k-1};x_1,\dots,x_{k-1}) = \lim_{x_k \rightarrow
\infty}F_X(t_1,\dots,t_{k};x_1,\dots,x_{k})
\end{equation}



 Условие однородности означает
выполнение равенства:
\begin{equation}\label{eq_05}
F_X(t_1,\dots,t_k,x_1,\dots,x_k) =
F_X(t_1+h,\dots,t_k+h,x_1,\dots,x_k)\quad \forall\,
h,k,\,t_1,\dots,t_k,\,x_1,\dots,x_k.
\end{equation}
Различают стационарность в {\it широком} и {\it узком} смыслах.
\begin{df}
{\rm Процесс, для которого выполнено равенство (\ref{eq_05}),
называется} стационарным в узком смысле.
\end{df}
\begin{df}
{\rm Случайный процесс ${X_t, t\in T}$ называется} процессом
второго порядка, {\rm если у него существует конечный второй
момент $I\!\!E X_{t}^2<\infty$, для всех $ t \in T$}.
\end{df}
Функция среднего значения и ковариационная функция для таких
процессов определяются соотношениями:
\begin{enumerate}
\item $m_x(t)=I\!\!E X_{t}$ \item
$R_x(t,s)=cov(X_{t},X_s)=I\!\!E[x_t-m(t)][x_s-m_s]$
\end{enumerate}


\begin{df}
Стационарность в широком смысле:
\begin{enumerate}
    \item $m_x(t) = m$
    \item $R_x(t+k,t)=R_x(k) \quad \forall t,k$.
\end{enumerate}
\end{df}
Для гауссовского процесса стационарность в широком и узком смыслах
совпадают, так как этот процесс полностью определяется двумерными
конечномерными распределениями.

%-------------------------------------------------------------------------------------
\section{Автоковариационная функция и спектральная плотность}

Рассмотрим случайный процесс $X_t$ и выборку $X_1,\dots,X_n$.
\begin{df}
$R_k$ называется автоковариацией с задержкой $k$, {\rm если\\
$R_k = I\!\!E(X_{t+k}-m)(X_t-m)$. Последовательность
$\{R_k\}_{-\infty}^{+\infty}$ называется} автоковариационной
функцией.
\end{df}
Отметим некоторые свойства автоковариации.
\begin{enumerate}
    \item $R_x(0) = DX_t = \sigma_x^2$.
    %\item $\rho_k = \frac{R_k}{R_0}$ --- {\it автокорреляция}
%    (нормированная автоковариация) $\Rightarrow \quad \rho_k \le 1$.
    \item $|R_x(k)| \le R_x(0)$ является функцией убывающей относительно нуля.
    \item $R_x(k) = R_x(-k)$ симметричной.
    \item $\sum_{i,j=1}^n R_x(i-j) c_i c_j = \sum_{i,j=1}^n
    c_i c_j cov(X_i,X_j) = D (\sum_{i=1}^n c_i X_i) \ge 0$.
\end{enumerate}
\begin{task}
Проверить справедливость этих свойств самостоятельно.
\end{task}
Функция автокорреляции определяется как отношение $\rho(k) =
\frac{R(k)}{R(0)}$. Отметим следующие св-ва:
\begin{enumerate}

    \item $|\rho(k)| \le 1$.
    \item $\rho(k)= \rho(-k)$.
\end{enumerate}


Далее везде будем предполагать невырожденность автоковариационной
функции. Потребуем также выполнение следующего условия:
\begin{equation}
\label{eq_01} \sum_{k=-\infty}^{+\infty}|R(k)| = R_x(0) +
2\sum_{k=1}^{+\infty}|R_x(k)| < \infty.
\end{equation}
Если выполнено (\ref{eq_01}), то существует {\it преобразование
Фурье}:
\begin{equation}
\label{eq_02} f(\lambda) = \frac{1}{2\pi}R_x(0) +
\frac{2}{\pi}\sum_{k=1}^{+\infty}R_{\lambda}(k) \cos (k\lambda),
\quad \lambda \in [-\pi,\pi].
\end{equation}
Условие (\ref{eq_01}) обеспечивает равномерную сходимость ряда в
правой части равенства (\ref{eq_02}) и непрерывность функции
$f(\lambda)$, которую называют {\it спектральной плотностью}
последовательности $\{X_k\}_{-\infty}^{+\infty}$.

\par Существует
также и {\it обратное преобразование Фурье}:
\begin{equation}
\label{eq_03} R_x(k) = \int\limits_{-\pi}^{\pi} f(\lambda) \cos
(k\lambda) d\lambda, \quad k \in Z.
\end{equation}\\
Соотношения (\ref{eq_02}) и (\ref{eq_03}) показывают, что
автоковариационная функция и спектральная плотность находятся во
взаимнооднозначном соответствии. Они обе могут служить
инструментом анализа временных рядов.
\par
Анализ временных рядов осуществляют
\begin{itemize}
    \item во временной области (через $R_k$): прогнозирование,
    управление, моделирование;
    \item в частотной области (через $f(\lambda)$): исследование
    на периодичность, фильтрация (удаление высоко- и низкочастотных составляющих).
\end{itemize}
Белый шум это процесс состоящий из некоррелируемых случайных
величин.
\begin{df} {\rm Будем называть случайный процесс ${\varepsilon_t, t \in
T}$} белым шумом,{\rm если
\begin{enumerate}
\item $I\!\!E\varepsilon_t\varepsilon_s=0, t \neq s,  s,t \in T$
\item $D\varepsilon_t=\sigma_{\varepsilon}^2$
\end{enumerate}
}
\end{df}
Стационарный в широком смысле ${\varepsilon_t, t \in T}$:
$I\!\!E\varepsilon_t=0$ и
$f(\lambda)=const=2\sigma_{\varepsilon}^2$


%------------------------Пример-------------------------------------
\begin{ex}{\rm
$X_t = 10 + \varepsilon_t + \varepsilon_{t-1}$, где
$\varepsilon_t$ --- белый шум (то есть $I\!\!E \varepsilon_t = 0,
\,\, Var\, \varepsilon_t = 1$).\\ Найти $I\!\!E
X_t,\,R_k,\,f(\lambda)$.\\


{\bf Решение.}
$I\!\!E X_t = 10$. \\
$R_k = I\!\!E (10 + \varepsilon_{t+k} + \varepsilon_{t+k-1}-10)(10
+ \varepsilon_t + \varepsilon_{t-1}-10) = I\!\!E
(\varepsilon_{t+k}\varepsilon_t +
\varepsilon_{t+k}\varepsilon_{t-1} +
\varepsilon_{t+k-1}\varepsilon_t +
\varepsilon_{t+k-1}\varepsilon_{t-1})$.\\
$$
\left\{ \begin{array}{rcl} R_0 & = & I\!\!E
(\varepsilon_t\varepsilon_t + 2\varepsilon_t\varepsilon_{t-1} + \varepsilon_{t-1}\varepsilon_{t-1}) = 2,\\
R_1 & = & 1,\\ R_k & = & 0,\, k>1.\end{array}\right. \qquad
\left\{ \begin{array}{rcl} \rho_0 & = & 1,\\ \rho_1 & = &
\frac{1}{2},\\ \rho_k & = & 0,\, k>1.\end{array}\right.
$$
Автокорреляционная функция обрывается на задержке 1.\\ $f(\lambda)
= \frac{1}{2\pi}\cdot 2 + \frac{1}{\pi}\cos (\lambda) =
\frac{1}{\pi}(1+\cos (\lambda))$. Преобладают низкие частоты.}
\end{ex}
%------------------------Пример-------------------------------------
\begin{ex}{\rm $X_t = 10 + \varepsilon_t - \varepsilon_{t-1}$, где $\varepsilon_t$ --- белый шум. Найти $I\!\!E
X_t,\,R_k,\,f(\lambda)$.\\

{\bf Решение.} Аналогично получим $f(\lambda) =
\frac{1}{\pi}(1-\cos (\lambda))$.}
\end{ex}
%---------------------------------------------------------------------------
\subsection{Частная автокорреляционная функция}

Рассмотрим случайный процесс $X_t$.\\
Частная автокорреляционная функция:
$$
\begin{array}{ll}
  k=0:& \varphi(0)  = \frac{I\!\!D X_t}{I\!\!D X_0} = \frac{R_0}{R_0} =1=\rho(0),\\
  k= \pm 1:& \varphi(1) = \rho(t,t-1) = \frac{cov(X_t,X_{t-1})}{\sqrt{
  I\!\!D X_t \cdot I\!\!D X_{t_1}}} = \frac{R_1}{R_0}=\rho(1), \\
  k= \pm 2,\dots:& \varphi(k) = \rho(t,t-k.t-k+1,\dots,t-1) =
  \frac{C(t-k,t)}{\sqrt{C(t-k,t-k)C(t,t)}}, \\
\end{array}
$$
где $C(t-k,t)$ - алгебраическое дополнение к соответствующему
элементу матрицы
$$
\left(
\begin{array}{cccc}
  \rho(t-k,t-k) & \rho(t-k,t-k+1) & \dots & \rho(t-k,t) \\
  \rho(t-k,t-k+1) & \rho(t,t) & \dots & \rho(t-k,t-1) \\
  \vdots &                 &  \ddots & \vdots \\
  \rho(t,t-k)   & \dots           & \dots & \rho(t,t) \\
\end{array}
\right)
$$
\begin{ex}
$X_t = \alpha X_{t-1} + \varepsilon_t$, где $|\alpha|<1$,
$\varepsilon_t$ -- белый шум
($I\!\!E\,\varepsilon_t \varepsilon_{t+k} = 0,\,\forall k \ne 0,\,
I\!\!E\,\varepsilon_t = 0,\, I\!\!D\,\varepsilon_t =
\sigma_{\varepsilon}^2$).\\
В этом случае $$\rho(0) = 1 = \frac{I\!\!D X_t}{I\!\!D X_t}.$$
$$\rho(1) = \frac{R_1}{R_0} = \frac {I\!\!E X_{t-1}X_{t}}{I\!\!D
X_t}= \frac {I\!\!E X_{t-1}(\alpha X_{t-1} +
\varepsilon_t)}{I\!\!D X_t} = \frac {\alpha I\!\!D X_{t}}{I\!\!D
X_t} = \alpha.
$$
$$
\rho(2) = \frac{R_2}{R_0} = \frac{I\!\!E X_{t-2}(\alpha(\alpha
X_{t-2}+\varepsilon_{t-1})+\varepsilon_t)}{I\!\!D X_t} = \alpha^2.
$$
Строим автокорреляционную матрицу:
$$
\left(
\begin{array}{ccc}
  1 & \alpha& \alpha^2 \\
  \alpha & 1 & \alpha \\
  \alpha^2 & \alpha & 1 \\
\end{array}
\right).
$$
Посчитаем
$$
\varphi_2 = \rho(t,t-2t-1) = \frac{\left|%
\begin{array}{cc}
  \alpha & \alpha^2 \\
  1 & \alpha \\
\end{array}%
\right|}{\left|%
\begin{array}{cc}
  1 & \alpha \\
  \alpha & 1 \\
\end{array}%
\right|} = 0.
$$
\end{ex}
Следовательно, частная автокорреляционная матрица $X_t$ и
$X_{t+2}$ равна нулю (нет прямой зависимости).